Tháng 2 ÂL năm thứ 3 (1167), Doãn Văn được triệu vào cung, làm Tri Xu mật viện sự kiêm Tham tri chính sự. Ngô Lân mất, đế truyền dụ cho ông thay thế, làm Tư Chính điện đại học sĩ (chức, chính tam phẩm), Tứ Xuyên tuyên phủ sứ (sai khiển), lại có chiếu vẫn giữ Tri xu mật viện sự như cũ. Về Thục một tháng, được triệu vào cung, vài tháng lại sai đi Thục. Thái thượng hoàng (tức Cao Tông) ban ngự thư "Thánh chủ đắc hiền thần tụng", đế làm lời bạt cho sách ấy; khi từ biệt, được ban các thứ đồ ngự khác là đôi giày và giáp trụ.

Doãn Văn qua Dĩnh, tâu xin đắp thành Hoàng Ưng Sơn. Qua Tương Dương, tâu xin sửa phủ thành. Tháng 8 ÂL đến Hán Trung, lại đi Miên Dương. Tháng 9, đến Ích Xương. Trước đó ông đã nhận chiếu giao cho 9 việc, sau khi đến Thục, phải phụng mệnh thi hành; nhưng việc quân lại cấp bách hơn. Lại tâu tra xét thực tế quân đội, chia làm 3 cấp từ khỏe đến yếu, thượng tham gia chiến đấu, trung – hạ tham gia hậu cần, người già trẻ nhỏ không liên quan. Cắt bỏ cả vạn binh, giảm được 400 vạn quan tiền. Giải ngũ những binh sĩ đã khó nhọc lâu ngày, đặt quan viên ở nhưng vị trí còn khuyết. Đầu thời Thiệu Hưng (1131 – 1162), Hưng, Dương có đến 7 vạn nghĩa sĩ, không được mặc giáp, bị xua đi trước quân Tống, tử vong gần sạch. Doãn Văn mệnh cho Lợi soái (Lợi Châu thống soái) Triều Công Vũ tra xét, xác nhận hơn 23900 người đang hoạt động. Lại xét đến phép tuyển chọn cung tiễn thủ ở Thiểm Tây, tham khảo chế độ Thiệu Hưng làm ra sách hướng dẫn, dời các viên tướng, lại đến coi việc ấy. Đem chức Mã chính giao cho Trương Tùng, tâu xin theo chế độ cũ mà chia trà, ngựa theo Xuyên (Tứ Xuyên), Tần (Thiểm Tây) tư.

2 vạn người ở các nơi Kim, Dương, Hưng Nguyên về với nhà Tống, chặn đường Doãn Văn kể khổ, ông chia cấp ruộng quan, giúp tất cả được an cư lạc nghiệp. Doãn Văn muốn liên kết với các tướng lãnh Tây Hạ, mưu tính đánh Kim, nhưng kết quả không đáng kể.